merge with xen-unstable.hg

[IA64] Support of 4k page size for individual guests

4k pagesize support per vcpu

Signed-off-by: Juergen Gross <juergen.gross@fujitsu-siemens.com>

[IA64] Shrink vtlb size

Instrumenting thash_purge_all() shows a very low usage of vtlb
entries (21 at most).

This patch shrinks the default vtlb size from 512KB to 16KB
to optimize memory.  This also speeds up ptc_e emulation.
To improve the hash function, frequency of collision never changed
and there is no performance degradation.

Signed-off-by: Kouya Shimura <kouya@jp.fujitsu.com>

Remove unused max_dma_mfn variable.
Signed-off-by: Keir Fraser <keir@xensource.com>

xencomm: Fix for code style.
Signed-off-by: Keir Fraser <keir@xensource.com>

[xen, xencomm] preparetion for xencomm consolidation.
Xen/powerpc runs in real mode so that it uses maddr interchangably
with vaddr. But it isn't the case in xen/ia64. It is necessary to
convert maddr to vaddr to access the page. maddr_to_virt() doesn't
convert on powerpc, so it should work on both archtechture.
Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[xen, xencomm] xencomm trivial bug fix
- fix return address of xencomm_copy_to_guest()
- fix xencomm_add_offset()
Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

xen: Cache 'current' vcpu in physdev_op hcall implementation.
Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

xen: Do not accept DOMID_SELF as input to DOMCTL_getdomaininfo.
This was screwing up callers that loop on getdomaininfo(), if there
was a domain with domid DOMID_FIRST_RESERVED-1 (== DOMID_SELF-1).
They would see DOMID_SELF-1, then look up DOMID_SELF, which has domid
0 of course, and then start their domain-finding loop all over again!
Found by Kouya Shimura <kouya@jp.fujitsu.com>. Thanks!
Signed-off-by: Keir Fraser <keir@xensource.com>

libxc: Various xc_evtchn_* functions must return signed integer type.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm: Cleanups to state-restore paths (including vmxassist world restore).
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] [TOOLS] Move device state save earlier in suspend path
Signed-off-by: Zhai Edwin <edwin.zhai@intel.com>

[PV-on-HVM]: Add missing includes

This patch adds missing includes that currently work through indirect
inclusions.  This cannot be relied on and indeed does break on older
kernels (2.4 for PV-on-HVM).

Signed-off-by: Herbert Xu <herbert@gondor.apana.org.au>

x86-64: enable hypervisor output on VESA frame buffer

This is x86-64 only for now due to the virtual address space
constraints on x86-32.

New options 'vesa-ram', 'vesa-map', 'vesa-mtrr' are close equivalents
to the vesafb Linux options 'vtotal', 'vremap', 'mtrr'.

Also the font can be specified: font=8x{8,14,16}.

Signed-off-by: Jan Beulich <jbeulich@novell.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

merge with xen-unstable.hg

[IA64] Make MMU setting of domVTi configurable

This patch makes MMU setting of domVTi configurable.
The size of VTLB and VHPT can be set by boot option.
(e.g. "vti_vtlb_size=256k vti_vhpt_size=1m")

Also some cleanups.

Signed-off-by: Kouya Shimura <kouya@jp.fujitsu.com>

[IA64] Minimal long vhpt format support

Signed-off-by: Juergen Gross juergen.gross@fujitsu-siemens.com

[IA64] Use defines instead of hard coded numbers

Some minor instruction grouping enhancements

Signed-off-by: Juergen Gross juergen.gross@fujitsu-siemens.com

xm-test: Allow dom0 network interface used in tests to be overriden
  ./configure --with-dom0-intf=<intf>  (default vif0.0)

x86: Trivial clean up of debug output.
Signed-off-by: Keir Fraser <keir@xensource.com>

x86: Improved memcpy() asm implementation.
Signed-off-by: Jan Beulich <jbeulich@novell.com>

Fix xm block/network-detach command.

 - To remove device info, it waits for the backend path of the device
   to be removed.
 - It removes device info from domain info.
 - It saves domain info to the config.sxp of the managed domain.

Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

acm: Some fixes to the Xend ACM management code

- prevent vlans from being relabeled when they are in use by the
  current policy
- fix problems when doing an update of the policy and the name of the
policy changes while doing that
- refactor code that has to take into consideration that unlabeled
domains may be defined using the label __UNLABELED__
- make 'xm list --label' show the complete label of a domain

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

x86-64: pv wrmsr emulation fix

Make sure the upper 32 bits of RAX are disregarded during MSR write
emulation.

Signed-off-by: Jan Beulich <jbeulich@novell.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

Ensure multiboot modules are mapped when we copy them.
Signed-off-by: Keir Fraser <keir@xensource.com>

x86: Always define both PAE and non-PAE address constants

Solaris decides to run as PAE or not at runtime. Thus, make the
address constants for both cases always available in the public
headers.

Signed-off-by: John Levon <john.levon@sun.com>

acm: Cleaner use of copy_from_guest().
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Clean up usage of 'current' in do_iret() hypercall.
Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

[IA64] Saner dom0 memory and cpu defaults

Some ia64 xen dom0 tweaks:
* Increase default memory allocation from 512M to 4G
* Increase default vcpu allocation from 1 to 4
* Implement rough calculation of what the maximum memory
  that can be safely allocated to dom0 is
* If need be, scale down requested memory allocation to fit
  available memory, rather than simply panicking
* If dom0_mem=0 is specified, allocate all available mem

Signed-off-by: Jarod Wilson <jwilson@redhat.com>

x86: Do not print unbounded bogus FACS signature.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm: Handle hw_cr[] array a bit more sanely.
SVM for the most part does not need to use it at all, and this makes
the code clearer.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm: Unify %cr0 handling.
Signed-off-by: Keir Fraser <keir@xensource.com>

Do not clobber new wallclock offset on restore.

The new hypervisor will set shared_info->wc_* so do not clobber those
values with the saved versions from the old hypervisor.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

hvm: Fix %cr4 handling in HAP paging mode.
Signed-off-by: Keir Fraser <keir@xensource.com>

Merge

[TOOLS] Avoid unaligned accesses in libfsimage FAT16 code
Signed-off-by: Kouya Shimura <kouya@jp.fujitsu.com>
Signed-off-by: KUWAMURA Shin'ya <kuwa@jp.fujitsu.com>

hvm: More cleanups, particularly to %cr4 handling.
Signed-off-by: Keir Fraser <keir@xensource.com>
Signed-off-by: Xin Li <xin.b.li@intel.com>

hvm: More cleanups around paging interfaces.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm: Clean up control-register and EFER handling.
No semantic changes. :-)
Signed-off-by: Keir Fraser <keir@xensource.com>

xen: Clean up some paging files: no tab and trailing spaces.
Signed-off-by: Xin Li <xin.b.li@intel.com>

xentop: fix abnormal value cpu(%) when domain shutdown.

If we test multiple domain create/shutdown many times.
sometimes abnormal values of cpu(%) are appeared.
This is because shutdown domain remove failure.
(in other words, memory corruption of struct )
This corruption makes abnormal cpu(%) values are shown xentop
sometimes.

Signed-off-by: Atsushi SAKAI <sakaia@jp.fujitsu.com>

[ACM] Explicitly cast byte arrays when used in copy_from_guest

Explicitly cast the target array type to an array of 'u8' since the
number of bytes copied is calculated from the type of element in the
target array times the number of elements (3rd parameter).

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[IA64] Fix parameter check in do_hvm_op()

Signed-off-by: KUWAMURA Shin'ya <kuwa@jp.fujitsu.com>
Signed-off-by: Tsunehisa Doi <Doi.Tsunehisa@jp.fujitsu.com>
Signed-off-by: Tomonari Horikoshi <t.horikoshi@jp.fujitsu.com>

[HVM] Store Etherboot ROM as hexdump, not binary
for ease of patch management
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

xm: Fix control characters causing xm tests to fail.

On my FC7 installation some of the test in the xm test suite fail for
no apparent reason. The problem is that the python 'readline' module
puts out control characters that confuse code that parses the output
of some of the xm commands that are being run. The readline module
dumps those characters upon import. The attached patch works around
this problem.

Here's what I get in out.txt when doing 'python 2>&1 | tee out.txt'
and 'import readline' on the python command line:

Python 2.5 (r25:51908, Apr 10 2007, 10:29:13)
[GCC 4.1.2 20070403 (Red Hat 4.1.2-8)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
[[?1034h>>> >>>

The characters before the '>>>' above are those printed by that
version of 'readline' and remain invisible on the screen but appear in
the file and confuse the xm test suite parser.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

xm: pass --skipdtd parameter through to 'xm new'

Pass the command line parameter '--skipdtd|-s' through to the actual
'xm new' command.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[32on64] Copy the right grant table status code back to the guest.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

hvm: Fix PV-on-HVM drivers to not execuite hypercall page while it is
being re-initialised.
Signed-off-by: Edwin Zhai <edwin.zhai@intel.com>

hvm: Fix save/restore when callback_via line is routed through a PCI
INTx wire.
Signed-off-by: Edwin Zhai <edwin.zhai@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

pygrub: LiloConf.py supports root and read-only

LiloConf.py ignores the following options: root and read-only.
This patch fixes the issue.

Signed-off-by: KUWAMURA Shin'ya <kuwa@jp.fujitsu.com>

Fix/cleanup destroyDevice code path in xend.

When calling destroyDevice code path (e.g. xm block-detach dom devid),
allow specifying an integer device id or a device name such as xvdN or
/dev/xvdN.  Allowing the /dev/xvdN form is useful when detaching
devices from dom0.  Bootloaders may do this to unmount a disk
previously mounted in dom0.

Move examination of device ID format into the DevController,
permitting device controllers to determine a valid device ID instead
of higher level code.

Signed-off-by: Jim Fehlig <jfehlig@novell.com>

[ACM] Support for removing / replacing a policy

Add support for removing/replacing a policy from the running
system. This operation is only successful if currently running VMs
would also be allowed to run under the new policy. Removing the
current policy means that the default policy is installed, which then
only has support for a single VM label and STE type (SystemManagement)
and is the same policy that the system starts up with when no policy
is chosen.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[ACM] Support for running unlabeled domains alongside labeled ones

Add support for running unlabeled domains alongside labeled ones, if
the policy contains a VM label with name '__UNLABELED__' and an STE
type with the same name. The ezpolicy tool has been modified to
automatically suggest a policy under which unlabeled domains can
run. The user may delete this, if this is not desired.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[IA64] Cleanup panic

Cleanup panic to get a carriage return at the end

Signed-off-by: Alex Williamson <alex.williamson@hp.com>

[IA64] Remove more useless code

Signed-off-by: Kouya Shimura <kouya@jp.fujitsu.com>

domain builder: Zero start_info struct.
Signed-off-by: Keir Fraser <keir@xensource.com>

On debug builds, scrub pages with non-zero poison.
Will flush out guests which are relying on zeroed memory.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] Yet another MCA/MCE MSR.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

es7000: Remove the bulk of the ES7000 specific code from Xen.

On the Unisys ES7000-One, Xen now uses the bigsmp APIC driver. This patch
has been tested on the ES7000 and a commodity box.

Signed-off-by: Raj Subrahmanian <raj.subrahmanian@unisys.com>

Merge with ppc/xen-unstable.hg

merge with xen-unstable.hg

[POWERPC][XEN] Commit missing multiboot files.
Signed-off-by: Hollis Blanchard <hollisb@us.ibm.com>

libelf: Clean up and fix up BSD symtab handling.
Should now (hopefully) work for domU and dom0 builders.
Signed-off-by: Keir Fraser <keir@xensource.com>

elfloader: Re-add break stmt I stupidly removed from elf parser.
Signed-off-by: Keir Fraser <keir@xensource.com>

libelf: Remove unneeded extra elf_set_verbose() invocation.
Signed-off-by: Keir Fraser <keir@xensource.com>

Merge

[MINIOS] fix x86_64 p2m map and CFLAGS
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

merge with xen-unstable.hg

xenstore: Redirect stdin/stdout/stderr to /dev/null.
Signed-off-by: Keir Fraser <keir@xensource.com>

xenstore: Do not assign to stdout/stderr/stdin - they are not
implemented as variables on all systems.
Signed-off-by: Keir Fraser <keir@xensource.com>

[IA64] Set rr0 to rr4 hyperprivop

Implement set_rr0_to_rr4 hyperprivop to reduce linux
context switch hyperprivop.

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[ELF] Load elf symbols when BSD_SYMTAB=yes.

When a guest kernel specifies BSD_SYMTAB=yes, then Xen loads the ELF
symbols for it. This works with Xen 3.0.4, but not with Xen 3.1.
During the libelf work between Xen 3.0.4 and Xen 3.1 the loading got
broken in the way, that BSD_SYMTAB gets parsed but not handled.

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

xenstored: Do not write to stderr if we are daemonised!
This fixes client reader-thread deaths in which a 'garbage string' was
being read instead of a well-formed message header.
Signed-off-by: Keir Fraser <keir@xensource.com>

xenstored: Remove unused util code.
Signed-off-by: Keir Fraser <keir@xensource.com>

blktap: Fix unaligned access to blktap/tapdisk message payloads.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix file descriptor leak in blktapctrl

The blktapctrl process is responsible for spawning individual tapdisk
processes. It does this using the 'system' method, but unfortunately
none of its file descriptors have the close-on-exec flag set. The
parent blktapctl process opens a couple of unix domain sockets
per-tapdisk it spawns. So the first tapdisk get 2 FDs leaked to it,
the second gets 4 FDs leaked to it, the 3rd gets 6 and so on. The use
of 'system' also unneccessarily invokes the shell.

Replace system with fork/execvp, and explicitly close all file handles
up to _SC_OPEN_MAX.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

Merge with ppc/xen-unstable.hg.

[IA64] Fix tools build.
Signed-off-by: Alex Williamson <alex.williamson@hp.com>

hvm: Large-scale cleanups and fixes to event deliver logic.
Signed-off-by: Keir Fraser <keir@xensource.com>

[IA64] Fix PAL_HALT of dom0 for panic_notifier_list

Currently dom0 cannot call panic_notifier_list in panic().
This is caused by PAL_HALT called from smp_send_stop().
When dom0 calls PAL_HALT, Hypervisor reset system.
So if dom0 panic, we cannot use panic_notifier_list.
Current PAL_HALT of xen is different from ia64 specification.
This patch fixes this issue.

Signed-off-by: Akio Takebe <takebe_akio@jp.fujitsu.com>

hvmloader: Avoid bogus use of NULL pointer.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] Inject #PF when mmio instruction fetch fails
instead of crashing the guest.  This can happen if one vcpu pages out
another vcpu's kernel text page while the other is performing an mmio op.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

hvm: Define common (across VMX and SVM) set of event types.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm: Fix CR0 handling, which I broke in 15652.
Thanks to Eric Liu for spotting this.
Signed-off-by: Keir Fraser <keir@xensource.com>

vmx: Simplify event-injection logic.
Signed-off-by: Keir Fraser <keir@xensource.com>

[IA64][MINIOS] PKR support

- adds optimization feature for region 7 identity mapping
- adds protection keys to region 5 and region 7 addresses,
  may be used for testing the hypervisor protection key support

Signed-off-by: Dietmar Hahn <dietmar.hahn@fujitsu-siemens.com>

[IA64] Switch on PKR

First implementation of handling protection keys in domU's.  Currently
only 15 registers are usable by domU's. pkr[15] is reserved for the
hypervisor.  The hypervisor doesn't take care of entries with the same key.

Signed-off-by: Dietmar Hahn <dietmar.hahn@fujitsu-siemens.com>

[IA64] Extend interfaces to use itir instead logps

Changed some interfaces to use cr.itir instead of only the logps part in
handling itc_i/itc_d and vhpt_insert.

Signed-off-by: Dietmar Hahn <dietmar.hahn@fujitsu-siemens.com>

[POWERPC][XEN] Use multiboot2 data structures when present.
Signed-off-by: Hollis Blanchard <hollisb@us.ibm.com>

[IA64] Use key in optimzation feature

Added IA64_INST_KEY_MISS_VECTOR and IA64_DATA_KEY_MISS_VECTOR to
ia64_handle_reflection.  Added using the key in handling
XEN_IA64_OPTF_IDENT_MAP_REG7 in PV.

Signed-off-by: Dietmar Hahn <dietmar.hahn@fujitsu-siemens.com>

[IA64] Declarations for PKR

Added new declarations for protection keys and define
XEN_IA64_NPKRS representing number of PKRs for PV domains.

Signed-off-by: Dietmar Hahn <dietmar.hahn@fujitsu-siemens.com>

[IA64] Clean up unused pkrs[] handling.

Signed-off-by: Dietmar Hahn <dietmar.hahn@fujitsu-siemens.com>

[POWERPC][XEN] Deal with "shadow" -> "paging" fallout.
Signed-off-by: Hollis Blanchard <hollisb@us.ibm.com>

[POWERPC][XEN] Fix build by adding proper guards to asm/numa.h
Signed-off-by: Hollis Blanchard <hollisb@us.ibm.com>

[ACM] Some more fixes

 - don't reload the policy if it has been loaded
 - don't always load the policy in the test suite when the policy is
   already loaded
 - skip tests 07 and 09 when ACM is not enabled and xm is not using the
   Xen-API
 - fix a problem when trying to remove an invalid label

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[IA64] Disable ACPI SRAT,SLIT table of dom0.

  On some ia64 NUMA machine, we cannot boot dom0.
  This issue is caused by different infomation LSAPIC and SRAT.
  Xen-ia64 modify LSAPIC IDs of dom0, but it does not modify SRAT.
  So we decide disabling SRAT, SLIT of dom0 as first step of NUMA
  work.

Signed-off-by: Akio Takebe <takebe_akio@jp.fujitsu.com>

Add acpi_table_disable() into xen/drivers/acpi/tables.c
This function can disable a ACPI table by updating the table header.

Signed-off-by: Akio Takebe <takebe_akio@jp.fujitsu.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

Move generate_acpi_checksum() from ia64 code to common.
Signed-off-by: Akio Takebe <takebe_akio@jp.fujitsu.com>

merge with xen-unstable.hg

hvm: Clean up CR0 handling.

Upper 32 bits should #GP if set. Lower 32 bits should have reserved
bits silently cleared.

Check Intel VMX MSRs to check for compatibility with our CR0
requirements.

Signed-off-by: Eric E Liu <eric.e.liu@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>